跳转至

联邦化几乎免费，推理则不然：蛋白质表征工作流中 AI 联合科学家的权衡

文章背景与核心概要

由自然语言驱动的自主“联合科学家”（co-scientist）工作流在灵活性、推理能力与确定性、可重复性及可观测性之间面临着内在的张力。随着这些智能体在跨机构边界的协作日益频繁，理解联邦拓扑结构如何影响延迟和成本变得至关重要。

本文通过在生产级智能体科学平台上进行受控消融实验，系统地评估了上述权衡。作者利用蛋白质表征任务（通过路由工具从序列中确定蛋白质功能）作为基准，对比了不同的联邦拓扑结构、经典强化学习（RL）与大语言模型（LLM）驱动的框架、底层模型以及提示词工程的效果，并根据蛋白质的新颖性对结果进行了分层分析。

执行摘要

Natural language-driven autonomous "co-scientist" workflows face an inherent tension: they must balance flexibility and reasoning against determinism, reproducibility, and observability. As these agents increasingly communicate across institutional boundaries, understanding how federation topology affects latency and cost becomes critical.

由自然语言驱动的自主“联合科学家”工作流面临着一种内在的张力：它们必须在灵活性与推理能力以及确定性、可重复性与可观测性之间取得平衡。随着这些智能体在机构边界之间进行越来越多的通信，理解联邦拓扑结构如何影响延迟和成本变得至关重要。

This paper presents a systematic evaluation of these tradeoffs via controlled ablations on a production agentic scientific platform. Using a verifiable protein characterization task (routing through common tools to confidently determine a protein's function from its sequence), the authors compare federation topologies, classic reinforcement learning (RL) versus LLM-driven harnesses, underlying language models, and prompt expertise, while stratifying results by protein novelty.

本文通过在生产级智能体科学平台上进行受控消融实验，对这些权衡进行了系统性评估。作者使用了一项可验证的蛋白质表征任务（通过路由常用工具来准确确定蛋白质的序列功能），对比了联邦拓扑结构、经典强化学习（RL）与 LLM 驱动的框架、底层语言模型以及提示词专业性，并根据蛋白质的新颖性对结果进行了分层。

关键发现

  • Model Selection Trumps Architecture: The choice of Large Language Model (LLM) dominated prediction quality far more than federation topology or prompting strategies (e.g., Opus achieved ~92–94% accuracy vs. o4-mini at ~40–50%).
  • 模型选择优于架构： 大语言模型（LLM）的选择对预测质量的影响远超联邦拓扑结构或提示词策略（例如，Opus 达到了约 92–94% 的准确率，而 o4-mini 仅为 40–50%）。
  • Efficiency of Deterministic Policies: A Proximal Policy Optimization (PPO) policy achieved near-frontier accuracy (88%) with zero token cost, minimal latency, and perfect consistency, though it lacked an interpretable reasoning trace.
  • 确定性策略的效率： 近端策略优化（PPO）策略在零 Token 成本、极低延迟和完美一致性的前提下，实现了接近前沿水平的准确率（88%），尽管它缺乏可解释的推理轨迹。
  • The Cost of Expert Prompting: Expert-prompted LLMs reached peak accuracy, but came with high financial costs and reduced consistency. Prompt dependence was particularly pronounced for harder, more novel protein tasks.
  • 专家提示词的成本： 经过专家提示词优化的 LLM 达到了峰值准确率，但伴随着高昂的财务成本和降低的一致性。对于更困难、更新颖的蛋白质任务，对提示词的依赖性尤为明显。
  • Negligible Federation Overhead: Federation imposed an almost negligible performance penalty on scientific workflows.
  • 联邦化开销可忽略不计： 联邦化对科学工作流造成的性能损耗几乎可以忽略不计。

实践建议

  • For Routine, Verifiable Tasks: Utilize a cheap, deterministic policy to secure near-frontier accuracy alongside complete reproducibility.
  • 针对常规、可验证的任务： 利用廉价的确定性策略，在确保完全可重复性的同时获得接近前沿水平的准确率。
  • For Open-Ended Discovery: Reserve flexible, higher-cost LLM reasoning for exploratory scenarios where interpretability and qualitative reasoning traces are paramount.
  • 针对开放式发现任务： 将灵活且成本较高的 LLM 推理保留用于探索性场景，在这些场景中，可解释性和定性推理轨迹至关重要。

链接与资源